<!DOCTYPE html>












  


<html class="theme-next pisces use-motion" lang="zh-Hans">
<head><meta name="generator" content="Hexo 3.8.0">
  <!-- hexo-inject:begin --><!-- hexo-inject:end --><meta charset="UTF-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=2">
<meta name="theme-color" content="#222">


  
  
  <link rel="stylesheet" href="/xieyuanhui/lib/needsharebutton/needsharebutton.css">

















  
  
  <link rel="stylesheet" href="/xieyuanhui/lib/fancybox/source/jquery.fancybox.css">







<link rel="stylesheet" href="/xieyuanhui/lib/font-awesome/css/font-awesome.min.css?v=4.6.2">

<link rel="stylesheet" href="/xieyuanhui/css/main.css?v=7.1.0">


  <link rel="apple-touch-icon" sizes="180x180" href="/xieyuanhui/images/apple-touch-icon-next.png?v=7.1.0">


  <link rel="icon" type="image/png" sizes="32x32" href="/xieyuanhui/images/favicon-32x32-next.png?v=7.1.0">


  <link rel="icon" type="image/png" sizes="16x16" href="/xieyuanhui/images/favicon-16x16-next.png?v=7.1.0">


  <link rel="mask-icon" href="/xieyuanhui/images/logo.svg?v=7.1.0" color="#222">


  <link rel="manifest" href="/xieyuanhui/images/manifest.json">


  <meta name="msapplication-config" content="/xieyuanhui/images/browserconfig.xml">





<script id="hexo.configurations">
  var NexT = window.NexT || {};
  var CONFIG = {
    root: '/xieyuanhui/',
    scheme: 'Pisces',
    version: '7.1.0',
    sidebar: {"position":"left","display":"post","offset":12,"onmobile":false,"dimmer":false},
    back2top: true,
    back2top_sidebar: false,
    fancybox: true,
    fastclick: false,
    lazyload: false,
    tabs: true,
    motion: {"enable":true,"async":false,"transition":{"post_block":"fadeIn","post_header":"slideDownIn","post_body":"slideDownIn","coll_header":"slideLeftIn","sidebar":"slideUpIn"}},
    algolia: {
      applicationID: '',
      apiKey: '',
      indexName: '',
      hits: {"per_page":10},
      labels: {"input_placeholder":"Search for Posts","hits_empty":"We didn't find any results for the search: ${query}","hits_stats":"${hits} results found in ${time} ms"}
    }
  };
</script>


  




  <meta name="description" content="论文下载地址：Image To Latex with DenseNet Encoder and Joint Attention Jian Wang, Yunchuan Sun, Shenling Wang* 北京师范大学信息科学与技术学院，北京，100875，中国  摘要&amp;emsp;&amp;emsp;数学公式结构分析通常将图像中的数学公式转换为Latex代码。它被OpenAi命名为Image2Latex">
<meta name="keywords" content="OCR,论文,翻译">
<meta property="og:type" content="article">
<meta property="og:title" content="使用DenseNet编码器和联合注意模型将图像转为LaTeX公式">
<meta property="og:url" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/index.html">
<meta property="og:site_name" content="xieyuanhui的笔记">
<meta property="og:description" content="论文下载地址：Image To Latex with DenseNet Encoder and Joint Attention Jian Wang, Yunchuan Sun, Shenling Wang* 北京师范大学信息科学与技术学院，北京，100875，中国  摘要&amp;emsp;&amp;emsp;数学公式结构分析通常将图像中的数学公式转换为Latex代码。它被OpenAi命名为Image2Latex">
<meta property="og:locale" content="zh-Hans">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/fig1.PNG">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/fig2.PNG">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/tab1.PNG">
<meta property="og:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/tab2.PNG">
<meta property="og:updated_time" content="2019-05-05T14:37:49.614Z">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="使用DenseNet编码器和联合注意模型将图像转为LaTeX公式">
<meta name="twitter:description" content="论文下载地址：Image To Latex with DenseNet Encoder and Joint Attention Jian Wang, Yunchuan Sun, Shenling Wang* 北京师范大学信息科学与技术学院，北京，100875，中国  摘要&amp;emsp;&amp;emsp;数学公式结构分析通常将图像中的数学公式转换为Latex代码。它被OpenAi命名为Image2Latex">
<meta name="twitter:image" content="http://xyh5513.gitee.io/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/fig1.PNG">



  <link rel="alternate" href="/xieyuanhui/atom.xml" title="xieyuanhui的笔记" type="application/atom+xml">



  
  
  <link rel="canonical" href="http://xyh5513.gitee.io/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/">



<script id="page.configurations">
  CONFIG.page = {
    sidebar: "",
  };
</script>

  <title>使用DenseNet编码器和联合注意模型将图像转为LaTeX公式 | xieyuanhui的笔记</title>
  












  <noscript>
  <style>
  .use-motion .motion-element,
  .use-motion .brand,
  .use-motion .menu-item,
  .sidebar-inner,
  .use-motion .post-block,
  .use-motion .pagination,
  .use-motion .comments,
  .use-motion .post-header,
  .use-motion .post-body,
  .use-motion .collection-title { opacity: initial; }

  .use-motion .logo,
  .use-motion .site-title,
  .use-motion .site-subtitle {
    opacity: initial;
    top: initial;
  }

  .use-motion .logo-line-before i { left: initial; }
  .use-motion .logo-line-after i { right: initial; }
  </style>
</noscript><!-- hexo-inject:begin --><!-- hexo-inject:end -->

</head>

<body itemscope itemtype="http://schema.org/WebPage" lang="zh-Hans">

  
  
    
  

  <!-- hexo-inject:begin --><!-- hexo-inject:end --><div class="container sidebar-position-left page-post-detail">
    <div class="headband"></div>

    <header id="header" class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner"><div class="site-brand-wrapper">
  <div class="site-meta">
    

    <div class="custom-logo-site-title">
      <a href="/xieyuanhui/" class="brand" rel="start">
        <span class="logo-line-before"><i></i></span>
        <span class="site-title">xieyuanhui的笔记</span>
        <span class="logo-line-after"><i></i></span>
      </a>
    </div>
    
    
  </div>

  <div class="site-nav-toggle">
    <button aria-label="切换导航栏">
      <span class="btn-bar"></span>
      <span class="btn-bar"></span>
      <span class="btn-bar"></span>
    </button>
  </div>
</div>



<nav class="site-nav">
  
    <ul id="menu" class="menu">
      
        
        
        
          
          <li class="menu-item menu-item-home">

    
    
    
      
    

    

    <a href="/xieyuanhui/" rel="section"><i class="menu-item-icon fa fa-fw fa-home"></i> <br>首页</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-about">

    
    
    
      
    

    

    <a href="/xieyuanhui/about/" rel="section"><i class="menu-item-icon fa fa-fw fa-user"></i> <br>关于</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-tags">

    
    
    
      
    

    

    <a href="/xieyuanhui/tags/" rel="section"><i class="menu-item-icon fa fa-fw fa-tags"></i> <br>标签</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-categories">

    
    
    
      
    

    

    <a href="/xieyuanhui/categories/" rel="section"><i class="menu-item-icon fa fa-fw fa-th"></i> <br>分类</a>

  </li>
        
        
        
          
          <li class="menu-item menu-item-archives">

    
    
    
      
    

    

    <a href="/xieyuanhui/archives/" rel="section"><i class="menu-item-icon fa fa-fw fa-archive"></i> <br>归档</a>

  </li>

      
      
        <li class="menu-item menu-item-search">
          
            <a href="javascript:;" class="popup-trigger">
          
            
              <i class="menu-item-icon fa fa-search fa-fw"></i> <br>搜索</a>
        </li>
      
    </ul>
  

  

  
    <div class="site-search">
      
  <div class="popup search-popup local-search-popup">
  <div class="local-search-header clearfix">
    <span class="search-icon">
      <i class="fa fa-search"></i>
    </span>
    <span class="popup-btn-close">
      <i class="fa fa-times-circle"></i>
    </span>
    <div class="local-search-input-wrapper">
      <input autocomplete="off" placeholder="搜索..." spellcheck="false" type="text" id="local-search-input">
    </div>
  </div>
  <div id="local-search-result"></div>
</div>



    </div>
  
</nav>



  



</div>
    </header>

    


    <main id="main" class="main">
      <div class="main-inner">
        <div class="content-wrap">
          
            

          
          <div id="content" class="content">
            

  <div id="posts" class="posts-expand">
    

  

  
  
  

  

  <article class="post post-type-normal" itemscope itemtype="http://schema.org/Article">
  
  
  
  <div class="post-block">
    <link itemprop="mainEntityOfPage" href="http://xyh5513.gitee.io/xieyuanhui/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="name" content="xieyuanhui">
      <meta itemprop="description" content>
      <meta itemprop="image" content="/xieyuanhui/images/deer.png">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="xieyuanhui的笔记">
    </span>

    
      <header class="post-header">

        
        
          <h1 class="post-title" itemprop="name headline">使用DenseNet编码器和联合注意模型将图像转为LaTeX公式

              
            
          </h1>
        

        <div class="post-meta">
          <span class="post-time">

            
            
            

            
              <span class="post-meta-item-icon">
                <i class="fa fa-calendar-o"></i>
              </span>
              
                <span class="post-meta-item-text">发表于</span>
              

              
                
              

              <time title="创建时间：2019-04-23 10:19:44" itemprop="dateCreated datePublished" datetime="2019-04-23T10:19:44+08:00">2019-04-23</time>
            

            
              

              
                
                <span class="post-meta-divider">|</span>
                

                <span class="post-meta-item-icon">
                  <i class="fa fa-calendar-check-o"></i>
                </span>
                
                  <span class="post-meta-item-text">更新于</span>
                
                <time title="修改时间：2019-05-05 22:37:49" itemprop="dateModified" datetime="2019-05-05T22:37:49+08:00">2019-05-05</time>
              
            
          </span>

          
            <span class="post-category">
            
              <span class="post-meta-divider">|</span>
            
              <span class="post-meta-item-icon">
                <i class="fa fa-folder-o"></i>
              </span>
              
                <span class="post-meta-item-text">分类于</span>
              
              
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing"><a href="/xieyuanhui/categories/论文学习/" itemprop="url" rel="index"><span itemprop="name">论文学习</span></a></span>

                
                
              
            </span>
          

          
            
            
          

          
          
            <span id="/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/" class="leancloud_visitors" data-flag-title="使用DenseNet编码器和联合注意模型将图像转为LaTeX公式">
              <span class="post-meta-divider">|</span>
              <span class="post-meta-item-icon">
                <i class="fa fa-eye"></i>
              </span>
              
                <span class="post-meta-item-text">阅读次数：</span>
              
                <span class="leancloud-visitors-count"></span>
            </span>
          

          

          
            <div class="post-symbolscount">
              

              
                <span class="post-meta-item-icon">
                  <i class="fa fa-file-word-o"></i>
                </span>
                
                  <span class="post-meta-item-text">本文字数：</span>
                
                <span title="本文字数">9.5k</span>
              

              
                <span class="post-meta-divider">|</span>
              

              
                <span class="post-meta-item-icon">
                  <i class="fa fa-clock-o"></i>
                </span>
                
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                
                <span title="阅读时长">9 分钟</span>
              
            </div>
          

          

        </div>
      </header>
    

    
    
    
    <div class="post-body" itemprop="articleBody">

      
      

      
        <p>论文下载地址：<a href="https://www.sciencedirect.com/science/article/pii/S1877050919302686" title="Image To Latex with DenseNet Encoder and Joint Attention" target="_blank" rel="noopener">Image To Latex with DenseNet Encoder and Joint Attention</a></p>
<center>Jian Wang, Yunchuan Sun, Shenling Wang*</center>
<center>北京师范大学信息科学与技术学院，北京，100875，中国</center>

<h3 id="摘要"><a href="#摘要" class="headerlink" title="摘要"></a>摘要</h3><p>&emsp;&emsp;数学公式结构分析通常将图像中的数学公式转换为Latex代码。它被OpenAi命名为Image2Latex。目前，许多研究人员在image2latex的图像字幕领域使用该模型并取得了良好的效果。在本文中，我们提出了对基线模型的一些改进，基线模型是图像标题中使用的序列到序列模型。我们通过采用密集连接的卷积网络（DenseNet）来改进编码器，因为它可以加强特征提取并促进梯度传播。我们建议使用更有效的联合注意机制，包括空间注意力和通道注意力来解决这个问题。我们对数据集im2latex-100k进行了实验。实验结果表明，该模型提高了配方分析的性能</p>
<h3 id="1-介绍"><a href="#1-介绍" class="headerlink" title="1. 介绍"></a>1. 介绍</h3><p>&emsp;&emsp;光学字符识别（OCR）通常用于从图像中识别自然语言。然而，早在[1]的工作中，就有研究人员致力于将图像转换为结构化语言或标签。这项研究的主要目标是数学表达式的OCR，以及如何处理表示方面，如子和上标符号，特殊符号和嵌套分数。<br>&emsp;&emsp;如今，更多的研究者开始关注复杂结构化标记语言的识别，这对于现代OCR系统的构建具有重要的理论意义。实际上，复杂的结构化标记语言的识别被OpenAi列为Image2Latex的研究请求。在过去几年中，在自然场景[2]和图像说明生成的OCR领域取得了一些进展。在图像说明问题中，最常用的模型称为序列到序列模型，其中编码器将源序列编码成特征向量，解码器使用该特征向量来产生目标序列。近年来，该结构已经增加了注意和对准模型，该模型选择用于解码的特征向量的子集。 [3]提出了一种基于注意力的编码器 - 解码器模型。它的一般应用激励研究人员，数学表达识别也可以是一个适当的应用。<br>&emsp;&emsp;该模型完全由数据驱动，不需要特定的领域知识，可以广泛应用于许多类似的问题。许多研究人员已经将图像标题模型应用于image2latex的这个问题，并取得了很好的效果。在本文中，我们使用[4]中提出的基线模型。它采用CNN + LSTM架构和经典的注意力模型。为了提高识别效果，我们通过一些新颖的方法改进了编码器和注意模型。实验表明我们的改进确实很有用。该论文的主要贡献包括：</p>
<ul>
<li>使用[5]提出的密集连接卷积网络（DenseNet）替换模型中的CNN网络，使模型能够更有效地编码图像。</li>
<li>使用称为C-S注意模型[6]的联合注意机制来促进模型中的注意机制。实验表明，与传统的注意力模型相比，联合注意机制具有更好的性能。<h3 id="2-相关工作"><a href="#2-相关工作" class="headerlink" title="2. 相关工作"></a>2. 相关工作</h3>&emsp;&emsp;在过去几年中，计算机视觉和自然语言处理方面取得了许多重大突破。许多研究人员试图在识别数学表达式的任务上取得突破。 [7]已经证明，结合神经网络和标准NLP方法（如条件随机场）的技术对于识别图像中的单词非常有效，并且[8]使用卷积神经网络来识别图像中的单词。基于递归神经网络的序列到序列模型通常用于机器翻译，语音识别和其他领域。 [9]引入的注意力提高了序列到序列模型的准确性，并最终在机器翻译系统中建立了新的标准。受序列到序列模型思想的启发，[10]中的作者以完全端到端的方式构建模型，其中包含具有注意模块的RNN。它是OCR领域的一个适当的应用。<br>&emsp;&emsp;图像标题中使用的模型已应用于Image2Latex。 image2latex模型可以生成与公式的输入图像相对应的LaTeX代码。受近期光学字符识别和图像字幕工作的启发，利用了一些端到端系统来实现图像公式的识别。 [11]采用了类似的方法，并应用它从图像生成公式的LaTeX代码。 [12]提出了一种神经编码器 - 解码器模型，它基于可扩展的粗到细注意机制将图像转换为表示标记。 [13]提出了一个模型，即WAP，它学习编码器输入表达图像并将它们解码成LaTeX代码。<br>&emsp;&emsp;最近，DenseNet在图像分类任务方面表现出色，因为它加强了特征提取并促进了梯度传播。在[14]的工作中，他们通过使用DenseNet改进了编码器，并提出了一种新的基于多尺度注意模型的编码器 - 解码器模型，用于手写数学表达式识别。基于基线模型，我们尝试用DenseNet编码器替换CNN编码器，并使用称为C-S关注的联合注意机制，以实现更好的性能。具体而言，C-S注意力包括空间注意力和渠道注意力。<h3 id="3-模型"><a href="#3-模型" class="headerlink" title="3. 模型"></a>3. 模型</h3>&emsp;&emsp;在基线模型中，编码器采用CNN网络，该网络由6个卷积层组成，解码器是具有一般注意机制的LSTM。我们通过使用DenseNet来使用CNN编码器并改进注意机制以获得更好的性能。<h4 id="3-1-DenseNet编码器"><a href="#3-1-DenseNet编码器" class="headerlink" title="3.1 DenseNet编码器"></a>3.1 DenseNet编码器</h4>&emsp;&emsp;我们使用DenseNet来获取输入图像的特征图。 DenseNet是一种新颖的网络，它以前馈的方式将每一层连接到每一层。在DenseNet中，所有先前图层的要素图用作输入，其自身的要素图用作所有后续图层的输入。<br>&emsp;&emsp;已经证明DenseNet在图像分类（例如ResNet）中比一些典型的CNN网络表现更好。具体到image2latex，基线CNN编码器很难区分一些微小符号的差异而DenseNet具有更好的性能。 DenseNet有几个优点，包括：减轻消失梯度问题，加强特征传播，鼓励特征重用，并大幅减少参数数量。 DenseNet通过引入从任何层到所有后续层的直接连接来改善层之间的信息流。<br>&emsp;&emsp;第l层的要素图表示为：<br>\begin{equation}<br>x_{l}=H_{l}\left(\left[x_{0}, x_{1}, \ldots, x_{l-1}\right]\right)<br>\end{equation}<br>&emsp;&emsp;$\left[x_{0}, x_{1}, \ldots, x_{l-1}\right]$是第l层的输入，它指的是在层0，…，l-1中产生的特征图的串联。函数$H_{l}(\bullet)$表示三个连续操作的复合函数：批量归一化（BN），然后是整流线性单元（ReLU）和卷积（Conv）。<br>&emsp;&emsp;作为卷积网络的重要组成部分，下采样层可以改变特征图的大小，以增加感受野并改善不变性。 DenseNet引入了两个实质性的梯度，以便于模型中的下采样。其中一个梯度称为密集块，它是多个密集连接的，另一个称为过渡层，它进行卷积和汇集。我们可以在过渡层将特征图的数量减少一半。我们使用的DenseNet的网络结构如图1所示。<br><img src="/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/fig1.PNG" alt></li>
</ul>
<center>图1.具有三个密集块的密集神经网络</center>

<h4 id="3-2-解码器"><a href="#3-2-解码器" class="headerlink" title="3.2 解码器"></a>3.2 解码器</h4><p>&emsp;&emsp;编码器的输出是一个大小为$H \times W \times C$的特征图。一旦我们收到特征图，我们就可以生成带有递归神经网络的乳胶标记。我们使用LSTM网络作为我们的解码器，因为LSTM显示出非常有效地捕获长期依赖性并促进梯度的反向传播。<br>&emsp;&emsp;形式上，假设我们想要生成目标LaTeX符号的第t个单词。我们应该将隐藏的向量$h_{t-1}$和前一个令牌$y_{t-1}$作为输出LSTM的输入。在LSTM的结构中，隐藏状态包括隐藏状态和存储器。<br>&emsp;&emsp;然后，LSTM使用递归公式给出下一个标记的概率：<br>\begin{equation}<br>p\left(y_{t}\right)=f\left(y_{t-1}, h_{t-1}, c_{t}\right)<br>\end{equation}<br>$c_{t}$是在每个时间步长计算的注意向量，并且取决于图像和下一个隐藏向量。更具体地说，我们还计算另一个输出状态$o_{t}$，用于计算公式上的分布概率，如下所示：<br>\begin{equation}<br>h_{t}=L S T M\left(h_{t-1},\left[E y_{t-1}, o_{t-1}\right]\right)<br>\end{equation}<br>\begin{equation}<br>c_{t}=\text {Attention}\left(h_{t}, V\right)<br>\end{equation}<br>\begin{equation}<br>o_{t}=\tanh \left(W^{c}\left[h_{t}, c_{t}\right]\right)<br>\end{equation}<br>\begin{equation}<br>p\left(y_{t+1} | y_{1}, \ldots, y_{t}, V\right)=\operatorname{soft} \max \left(W^{\text {out}} o_{t}\right)<br>\end{equation}<br>&emsp;&emsp;其中W是权重矩阵，E是嵌入矩阵。 V是通过重塑特征映射的编码器图像。$c_{t}$仅代表由注意机制计算的注意向量。如果我们想通过LSTM开始生成令牌，我们应该使用以下规则处理特征映射以启用输入作为LSTM：<br>\begin{equation}<br>h_{0}=\tanh \left(W \cdot\left(\frac{1}{n} \sum_{i=1}^{n} e_{i}\right)+b\right)<br>\end{equation}<br>&emsp;&emsp;我们在每个隐藏状态下学习独立矩阵W和偏差b。我们使用两个特殊标记START和END。一旦我们得到初始状态$h_{0}$和START令牌，我们就可以逐步生成下一个令牌，直到我们的解码器预测出END令牌。</p>
<h4 id="3-3-注意力集中模型"><a href="#3-3-注意力集中模型" class="headerlink" title="3.3 注意力集中模型"></a>3.3 注意力集中模型</h4><p>&emsp;&emsp;我们使用联合注意机制，其集成空间注意力和频道注意力以增强解码器的性能。在图像字幕的情况下，它被证明有助于收敛。<br>&emsp;&emsp;通常，LaTeX代码通常涉及配方图像的部分区域。空间注意力模型试图关注语义相关区域。我们将原始特征图表示为$V=\left[v_{1}, v_{2}, \ldots, v_{m}\right]$，其中$v_{i} \in \mathbb{R}^{c}$和$m=W \times H$。我们可以将$v_{i}$视为第i个位置的视觉特征。我们可以得到前一时间步长LSTM隐藏状态$h_{t-1}$的注意分布。空间注意模型可以表示为：<br>\begin{equation}<br>a=\tanh \left(\left(W_{s} V+b_{s}\right)+W_{h s} h_{t-1}\right)<br>\end{equation}<br>\begin{equation}<br>\alpha=\operatorname{softmax}\left(\mathrm{W}_{i s} \mathrm{a}+\mathrm{b}_{i s}\right)<br>\end{equation}<br>&emsp;&emsp;实际上，该模型是单层神经网络，后面是softmax函数。变换矩阵$W_{s} \in \mathbb{R}^{k \times C}$，$W_{h s} \in \mathbb{R}^{k \times d}$，$W_{i s} \in R^{k}$是用于将特征和隐藏状态映射到同一维度。$b_{s} \in \mathbb{R}^{k}$，$b_{i s} \in \mathbb{R}^{1}$是模型偏差。<br>&emsp;&emsp;多通道关注机制的焦点不同于空间关注机制的焦点。由编码器提取的特征图通常是多通道的，并且特征图的每个通道是对应的卷积滤波器的响应激活。频道关注可以帮助选择语义属性。在渠道方面的关注中，我们首先应该重塑原始特征图V.我们将V重塑为U，并且$U=\left[u_{1}, u_{2}, \ldots, u_{C}\right]$，其中$u_{i} \in \mathbb{R}^{W \times H}$贡献特征映射V的第i个通道，C是通道的总数。我们通过为每个频道应用均值池来获得频道特征v：<br>\begin{equation}<br>v=\left[v_{1}, v_{2}, \ldots, v_{C}\right], v \in \mathbb{R}^{C}<br>\end{equation}<br>&emsp;&emsp;$v_{i}$是一个标量，它是矢量$u_{i}$的平均值。它代表了第i个通道的特征。多通道模型可以定义如下：<br>\begin{equation}<br>b=\tanh \left(\left(W_{c} \times v+b_{c}\right)+W_{h c} h_{t-1}\right)<br>\end{equation}<br>\begin{equation}<br>\beta=\operatorname{soft} \max \left(W_{i c} b+b_{i C}\right)<br>\end{equation}<br>&emsp;&emsp;其中$W_{C} \in \mathbb{R}^{k \times c}$，$W_{h C} \in \mathbb{R}^{k \times d}$，$W_{i C} \in \mathbb{R}^{k}$是变换矩阵，$b_{c} \in \mathbb{R}^{k}$，$b_{C} \in \mathbb{R}^{1}$是模型偏差。<br>&emsp;&emsp;根据渠道关注度和空间关注度的不同实现顺序，存在两种类型的机制。第一种类型称为信道空间（C-S），第二种类型称为空间信道（S-C）。在我们的实验中，我们在空间注意之前应用频道注意力。<br>&emsp;&emsp;C-S模型按顺序计算两个权重，然后根据这两个权重计算注意向量。在解码处理的每个时间步骤，关注机制参与特征映射V并计算加权矢量。$\varphi_{c}$在公式（13）中提供渠道关注模型，我们从$\varphi_{c}$获得渠道关注度$\beta$。然后我们通过将渠道加权特征图馈送到空间注意模型$\varphi_{s}$来获得空间注意力$\alpha$。在公式（15）中，我们计算这些向量的加权平均值，也称为关注向量。$v_{i}$表示特征图中的每个像素位置。因此，我们的解码器在解码过程的每个时间步骤处注意关注向量c。 C-S模型的计算过程可以表示为图2。<br>\begin{equation}<br>\beta=\varphi_{c}\left(h_{t-1}, V\right)<br>\end{equation}<br>\begin{equation}<br>\alpha=\varphi_{s}\left(h_{t-1}, f_{c}(V, \beta)\right)<br>\end{equation}<br>\begin{equation}<br>c=\sum_{i=1}^{H \times W} \alpha, v_{i}<br>\end{equation}<br><img src="/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/fig2.PNG" alt></p>
<center>图2. C-S注意力模型</center>

<h3 id="4-实验"><a href="#4-实验" class="headerlink" title="4. 实验"></a>4. 实验</h3><h4 id="4-1-数据集和度量标准"><a href="#4-1-数据集和度量标准" class="headerlink" title="4.1 数据集和度量标准"></a>4.1 数据集和度量标准</h4><p>&emsp;&emsp;我们在im2latex-100k上进行了实验，其中包括总共约100k的公式和图像。我们将数据集拆分为train（〜84k），验证（~9k）和测试（~10k）集。存在特殊挑战，因为im2latex-100k中的一半公式包含超过50个令牌，并且生成的令牌取决于句子的开头和先前的令牌。<br>&emsp;&emsp;我们通过完全匹配（EM），BLEU得分和编辑距离来评估我们的结果。如果预测公式和基本事实公式的标记完全相同，则完全匹配数量为1。 BLEU（双语评估替代）的方法认为，如果系统的翻译更接近人工翻译结果，其翻译质量更高。它捕获了n-gram的重叠，它出现在系统翻译和参考翻译中。它已被证明与人类判断最相关，它是翻译的标准指标。我们还使用编辑距离来评估与原始文本匹配的重建文本的百分比。预测公式和基本事实之间的编辑距离告诉我们应该在一个公式中添加/删除/更改多少个字符以获得另一个公式。编辑距离是与原始文本匹配的重建文本的百分比。完美匹配的编辑距离为1。</p>
<h4 id="4-2-与基线模型比较"><a href="#4-2-与基线模型比较" class="headerlink" title="4.2 与基线模型比较"></a>4.2 与基线模型比较</h4><p>&emsp;&emsp;我们在DenseNet模型中调整密集块数和增长率来设计两种类型的DenseNet模型。两个模型之间最重要的区别是密集块的数量不同。两个模型的所有增长率都设定为24.我们的两个模型的更多细节见表1。</p>
<p><center>表1.两种类型的密集网络模型的细节</center><br><img src="/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/tab1.PNG" alt><br>&emsp;&emsp;表2中列出了所提出的模型与im2latex-100k上的其他模型之间的比较。嵌入大小设置为80.我们使用1e-4的小预热学习率来处理两个第一个时期以解决高方差在训练开始时有很高的梯度。梁的大小为5.DenseNet + C-S捐赠编码为DenseNet的模型，具有2个块，注意机制为C-S注意模型。与基线模型相比，具有DenseNet的模型（2个块）仅更改编码器。具有C-S注意力的模型仅改变基线模型中的注意力模型。表2中所有模型的解码器都是LSTM。我们使用10个时期对整个数据集进行训练并在测试集上进行测试。通过采用DenseNet编码器和C-S注意模型，EM，BLEU得分和编辑距离分别增加％8.41，％2.54和％1.32。</p>
<p><center>表2.四种模型的比较。</center><br><img src="/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/tab2.PNG" alt></p>
<h3 id="5-结论"><a href="#5-结论" class="headerlink" title="5. 结论"></a>5. 结论</h3><p>&emsp;&emsp;在本文中，我们通过引入DenseNet编码器和C-S注意模型来改进应用于image2latex任务的字幕生成系统的性能。 DenseNet和C-S注意机制都可以在image2latex任务中提高seq2seq模型的性能，尤其是当迭代次数相对较少时。但是，使用DenseNet和C-S注意模型会消耗更多的计算资源。我们希望在未来的工作中优化网络结构以提高计算效率。</p>
<h3 id="致谢"><a href="#致谢" class="headerlink" title="致谢"></a>致谢</h3><p>&emsp;&emsp;本研究由国家自然科学基金（No.61371185,61401029,61472044,61472403,61571049，61601033,11401028）和中央大学基础研究基金（No.2014KJJCB32,2013NT57）和SRF为ROCS主办。 ，SEM。和中国博士后科学基金资助项目（No.2016M590337）。</p>
<h3 id="参考文献"><a href="#参考文献" class="headerlink" title="参考文献"></a>参考文献</h3><p>[1] Anderson, Robert H. Syntax-directed recognition of handprinted two-dimensional mathematics. In Symposium on Interactive Systems for Experimental Applied Mathematics: Proceedings of the Association for Computing Machinery Inc. Symposium, pp. 436–459. ACM, 1967.<br>[2] Jaderberg M, Simonyan K, Vedaldi A, et al. Reading Text in the Wild with Convolutional Neural Networks[J]. International Journal of Computer Vision, 2016, 116(1):1-20.<br>[3] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014.<br>[4] Genthial, G., &amp; Sauvestre, R. (2016) Image to Latex.<br>[5] Huang G, Liu Z, Laurens V D M, et al. Densely Connected Convolutional Networks[J]. 2016:2261-2269.<br>[6] Chen L, Zhang H, Xiao J, et al. SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning[J].<br>2017:6298-6306.<br>[7] Jaderberg M, Simonyan K, Vedaldi A, et al. Deep Structured Output Learning for Unconstrained Text Recognition[J]. Eprint Arxiv, 2014, 24(6):603–611.<br>[8] Wang T, Wu D J, Coates A, et al. End-to-end text recognition with convolutional neural networks[C]// International Conference on Pattern Recognition. IEEE, 2013:3304-3308.<br>[9] Luong M T, Pham H, Manning C D. Effective Approaches to Attention-based Neural Machine Translation[J]. Computer Science, 2015.<br>[10] Lee C Y, Osindero S. Recursive Recurrent Nets with Attention Modeling for OCR in the Wild[C]// Computer Vision and Pattern Recognition. IEEE, 2016:2231-2239.<br>[11] Deng Y, Kanervisto A, Rush A M. What You Get Is What You See: A Visual Markup Decompiler[J]. 2016.<br>[12] Deng Y, Kanervisto A, Ling J, et al. Image-to-Markup Generation with Coarse-to-Fine Attention[J]. 2017.<br>[13] Zhang J, Du J, Zhang S, et al. Watch, attend and parse: An end-to-end neural network based approach to handwritten mathematical expression recognition[J]. Pattern Recognition, 2017, 71: 196-206.<br>[14] Zhang J, Du J, Dai L. Multi-scale attention with dense encoder for handwritten mathematical expression recognition[J]. arXiv preprint arXiv:1801.03530, 2018.</p>

      
    </div>

    

    
    
    

    
        
<div class="my_post_copyright">
  <script src="//cdn.bootcss.com/clipboard.js/1.5.10/clipboard.min.js"></script>
  
  <!-- JS库 sweetalert 可修改路径 -->
  <script type="text/javascript" src="http://jslibs.wuxubj.cn/sweetalert_mini/jquery-1.7.1.min.js"></script>
  <script src="http://jslibs.wuxubj.cn/sweetalert_mini/sweetalert.min.js"></script>
  <link rel="stylesheet" type="text/css" href="http://jslibs.wuxubj.cn/sweetalert_mini/sweetalert.mini.css">
 
  <p><span>本文标题:</span>使用DenseNet编码器和联合注意模型将图像转为LaTeX公式</p>
  <p><span>文章作者:</span>xieyuanhui</p>
  <p><span>发布时间:</span>2019年04月23日 - 10:19:44</p>
  <p><span>最后更新:</span>2019年05月05日 - 22:37:49</p>
  <p><span>原始链接:</span><a href="/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/" title="使用DenseNet编码器和联合注意模型将图像转为LaTeX公式">http://xyh5513.gitee.io/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/</a>
    <span class="copy-path" title="点击复制文章链接"><i class="fa fa-clipboard" data-clipboard-text="http://xyh5513.gitee.io/xieyuanhui/2019/04/23/使用DenseNet编码器和联合注意模型将图像转为LaTeX公式/" aria-label="复制成功！"></i></span>
  </p>
  <p><span>许可协议:</span><i class="fa fa-creative-commons"></i> <a rel="license" href="https://creativecommons.org/licenses/by-nc-nd/4.0/" target="_blank" title="Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0)">CC BY-NC-SA 4.0</a> 转载请保留原文链接及作者。</p>  
</div>
<script> 
    var clipboard = new Clipboard('.fa-clipboard');
    clipboard.on('success', $(function(){
      $(".fa-clipboard").click(function(){
        swal({   
          title: "",   
          text: '复制成功',   
          html: false,
          timer: 500,   
          showConfirmButton: false
        });
      });
    }));  
</script>

    

    

    
      
    
    
      <div>
        <div id="reward-container">
  <div>您的支持将鼓励我继续创作</div>
  <button id="reward-button" disable="enable" onclick="var qr = document.getElementById(&quot;qr&quot;); qr.style.display = (qr.style.display === 'none') ? 'block' : 'none';">
    打赏
  </button>
  <div id="qr" style="display: none;">

    
      
      
        
      
      <div style="display: inline-block">
        <img src="/xieyuanhui/images/wechatpay.png" alt="xieyuanhui 微信支付">
        <p>微信支付</p>
      </div>
    
      
      
        
      
      <div style="display: inline-block">
        <img src="/xieyuanhui/images/alipay.jpg" alt="xieyuanhui 支付宝">
        <p>支付宝</p>
      </div>
    

  </div>
</div>

      </div>
    

    

    <footer class="post-footer">
      
        <div class="post-tags">
          
            <a href="/xieyuanhui/tags/OCR/" rel="tag"># OCR</a>
          
            <a href="/xieyuanhui/tags/论文/" rel="tag"># 论文</a>
          
            <a href="/xieyuanhui/tags/翻译/" rel="tag"># 翻译</a>
          
        </div>
      

      
      
        <div class="post-widgets">
        

        

        
          
          <div class="social_share">
            
            
              <div id="needsharebutton-postbottom">
                <span class="btn">
                  <i class="fa fa-share-alt" aria-hidden="true"></i>
                </span>
              </div>
            
            
          </div>
        
        </div>
      
      

      
        <div class="post-nav">
          <div class="post-nav-next post-nav-item">
            
              <a href="/xieyuanhui/2019/04/22/你得到的是你所看到的：一个视觉标记反编译器/" rel="next" title="你得到的是你所看到的：一个视觉标记反编译器">
                <i class="fa fa-chevron-left"></i> 你得到的是你所看到的：一个视觉标记反编译器
              </a>
            
          </div>

          <span class="post-nav-divider"></span>

          <div class="post-nav-prev post-nav-item">
            
              <a href="/xieyuanhui/2019/04/23/什么是高并发/" rel="prev" title="【转】什么是高并发">
                【转】什么是高并发 <i class="fa fa-chevron-right"></i>
              </a>
            
          </div>
        </div>
      

      
      
    </footer>
  </div>
  
  
  
  </article>


  </div>


          </div>
          

  



        </div>
        
          
  
  <div class="sidebar-toggle">
    <div class="sidebar-toggle-line-wrap">
      <span class="sidebar-toggle-line sidebar-toggle-line-first"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-middle"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-last"></span>
    </div>
  </div>

  <aside id="sidebar" class="sidebar">
    <div class="sidebar-inner">

      

      
        <ul class="sidebar-nav motion-element">
          <li class="sidebar-nav-toc sidebar-nav-active" data-target="post-toc-wrap">
            文章目录
          </li>
          <li class="sidebar-nav-overview" data-target="site-overview-wrap">
            站点概览
          </li>
        </ul>
      

      <div class="site-overview-wrap sidebar-panel">
        <div class="site-overview">
          <div class="site-author motion-element" itemprop="author" itemscope itemtype="http://schema.org/Person">
            
              <img class="site-author-image" itemprop="image" src="/xieyuanhui/images/deer.png" alt="xieyuanhui">
            
              <p class="site-author-name" itemprop="name">xieyuanhui</p>
              <div class="site-description motion-element" itemprop="description"></div>
          </div>

          
            <nav class="site-state motion-element">
              
                <div class="site-state-item site-state-posts">
                
                  <a href="/xieyuanhui/archives/">
                
                    <span class="site-state-item-count">107</span>
                    <span class="site-state-item-name">日志</span>
                  </a>
                </div>
              

              
                
                
                <div class="site-state-item site-state-categories">
                  
                    
                      <a href="/xieyuanhui/categories/">
                    
                  
                    
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                    <span class="site-state-item-count">16</span>
                    <span class="site-state-item-name">分类</span>
                  </a>
                </div>
              

              
                
                
                <div class="site-state-item site-state-tags">
                  
                    
                      <a href="/xieyuanhui/tags/">
                    
                  
                    
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                      
                    
                    <span class="site-state-item-count">114</span>
                    <span class="site-state-item-name">标签</span>
                  </a>
                </div>
              
            </nav>
          

          
            <div class="feed-link motion-element">
              <a href="/xieyuanhui/atom.xml" rel="alternate">
                <i class="fa fa-rss"></i>
                RSS
              </a>
            </div>
          

          

          
            <div class="links-of-author motion-element">
              
                <span class="links-of-author-item">
                  
                  
                    
                  
                  
                    
                  
                  <a href="/xieyuanhui/yuanhxie@163.com" title="E-Mail &rarr; yuanhxie@163.com"><i class="fa fa-fw fa-envelope"></i>E-Mail</a>
                </span>
              
            </div>
          

          

          
          

          
            
          
          

        </div>
      </div>

      
      <!--noindex-->
        <div class="post-toc-wrap motion-element sidebar-panel sidebar-panel-active">
          <div class="post-toc">

            
            
            
            

            
              <div class="post-toc-content"><ol class="nav"><li class="nav-item nav-level-3"><a class="nav-link" href="#摘要"><span class="nav-text">摘要</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#1-介绍"><span class="nav-text">1. 介绍</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#2-相关工作"><span class="nav-text">2. 相关工作</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#3-模型"><span class="nav-text">3. 模型</span></a><ol class="nav-child"><li class="nav-item nav-level-4"><a class="nav-link" href="#3-1-DenseNet编码器"><span class="nav-text">3.1 DenseNet编码器</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#3-2-解码器"><span class="nav-text">3.2 解码器</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#3-3-注意力集中模型"><span class="nav-text">3.3 注意力集中模型</span></a></li></ol></li><li class="nav-item nav-level-3"><a class="nav-link" href="#4-实验"><span class="nav-text">4. 实验</span></a><ol class="nav-child"><li class="nav-item nav-level-4"><a class="nav-link" href="#4-1-数据集和度量标准"><span class="nav-text">4.1 数据集和度量标准</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#4-2-与基线模型比较"><span class="nav-text">4.2 与基线模型比较</span></a></li></ol></li><li class="nav-item nav-level-3"><a class="nav-link" href="#5-结论"><span class="nav-text">5. 结论</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#致谢"><span class="nav-text">致谢</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#参考文献"><span class="nav-text">参考文献</span></a></li></ol></div>
            

          </div>
        </div>
      <!--/noindex-->
      

      

    </div>
  </aside>
  


        
      </div>
    </main>

    <footer id="footer" class="footer">
      <div class="footer-inner">
        <div class="copyright">&copy; <span itemprop="copyrightYear">2019</span>
  <span class="with-love" id="animate">
    <i class="fa fa-user"></i>
  </span>
  <span class="author" itemprop="copyrightHolder">xieyuanhui</span>

  
    <span class="post-meta-divider">|</span>
    <span class="post-meta-item-icon">
      <i class="fa fa-area-chart"></i>
    </span>
    
      <span class="post-meta-item-text">站点总字数：</span>
    
    <span title="站点总字数">749k</span>
  

  
    <span class="post-meta-divider">|</span>
    <span class="post-meta-item-icon">
      <i class="fa fa-coffee"></i>
    </span>
    
      <span class="post-meta-item-text">站点阅读时长 &asymp;</span>
    
    <span title="站点阅读时长">11:20</span>
  
</div>


  <div class="powered-by">由 <a href="https://hexo.io" class="theme-link" rel="noopener" target="_blank">Hexo</a> 强力驱动 v3.8.0</div>



  <span class="post-meta-divider">|</span>



  <div class="theme-info">主题 – <a href="https://theme-next.org" class="theme-link" rel="noopener" target="_blank">NexT.Pisces</a> v7.1.0</div>


<div><span id="sitetime"></span>
<script language="javascript">
  function siteTime(){
    window.setTimeout("siteTime()", 1000);
    var seconds = 1000;
    var minutes = seconds * 60;
    var hours = minutes * 60;
    var days = hours * 24;
    var years = days * 365;
    var today = new Date();
    var todayYear = today.getFullYear();
    var todayMonth = today.getMonth()+1;
    var todayDate = today.getDate();
    var todayHour = today.getHours();
    var todayMinute = today.getMinutes();
    var todaySecond = today.getSeconds();
    /* Date.UTC() -- 返回date对象距世界标准时间(UTC)1970年1月1日午夜之间的毫秒数(时间戳)
    year - 作为date对象的年份，为4位年份值
    month - 0-11之间的整数，做为date对象的月份
    day - 1-31之间的整数，做为date对象的天数
    hours - 0(午夜24点)-23之间的整数，做为date对象的小时数
    minutes - 0-59之间的整数，做为date对象的分钟数
    seconds - 0-59之间的整数，做为date对象的秒数
    microseconds - 0-999之间的整数，做为date对象的毫秒数 */
    var t1 = Date.UTC(2019,04,09,15,00,00); //北京时间2018-2-13 00:00:00
    var t2 = Date.UTC(todayYear,todayMonth,todayDate,todayHour,todayMinute,todaySecond);
    var diff = t2-t1;
    var diffYears = Math.floor(diff/years);
    var diffDays = Math.floor((diff/days)-diffYears*365);
    var diffHours = Math.floor((diff-(diffYears*365+diffDays)*days)/hours);
    var diffMinutes = Math.floor((diff-(diffYears*365+diffDays)*days-diffHours*hours)/minutes);
    var diffSeconds = Math.floor((diff-(diffYears*365+diffDays)*days-diffHours*hours-diffMinutes*minutes)/seconds);
    document.getElementById("sitetime").innerHTML=" xieyuanhui的个人笔记已运行"+/*diffYears+" 年 "+*/diffDays+" 天 "+diffHours+" 小时 "+diffMinutes+" 分钟 "+diffSeconds+" 秒";
  }/*因为建站时间还没有一年，就将之注释掉了。需要的可以取消*/
  siteTime();
</script></div>



<div>

  <div class="theme-info">
    <script async src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script>
    <span id="busuanzi_container_site_pv">本站总访问量<span id="busuanzi_value_site_pv"></span>次</span>
    <span class="post-meta-divider">|</span>
    <span id="busuanzi_container_site_uv">本站访客数<span id="busuanzi_value_site_uv"></span>人</span>
  </div>

</div>

        






  <div>
    <script type="text/javascript">
	    var cnzz_protocol = (("https:" == document.location.protocol) ? "https://" : "http://");
	    document.write(unescape("%3Cspan id='cnzz_stat_icon_1277235632'%3E%3C/span%3E%3Cscript 
	    src='" + cnzz_protocol + "s23.cnzz.com/z_stat.php%3Fid%3D1277235632%26show%3Dpic' 
	    type='text/javascript'%3E%3C/script%3E"));
    </script>
  </div>



        
      </div>
    </footer>

    
      <div class="back-to-top">
        <i class="fa fa-arrow-up"></i>
        
      </div>
    

    
      <div id="needsharebutton-float">
        <span class="btn">
          <i class="fa fa-share-alt" aria-hidden="true"></i>
        </span>
      </div>
    

    

    
  </div>

  

<script>
  if (Object.prototype.toString.call(window.Promise) !== '[object Function]') {
    window.Promise = null;
  }
</script>












  



  
    
    
  
  <script color="0,0,255" opacity="0.5" zindex="-1" count="99" src="/xieyuanhui/lib/canvas-nest/canvas-nest.min.js"></script>













  
  <script src="/xieyuanhui/lib/jquery/index.js?v=2.1.3"></script>

  
  <script src="/xieyuanhui/lib/velocity/velocity.min.js?v=1.2.1"></script>

  
  <script src="/xieyuanhui/lib/velocity/velocity.ui.min.js?v=1.2.1"></script>

  
  <script src="/xieyuanhui/lib/fancybox/source/jquery.fancybox.pack.js"></script>


  


  <script src="/xieyuanhui/js/utils.js?v=7.1.0"></script>

  <script src="/xieyuanhui/js/motion.js?v=7.1.0"></script>



  
  


  <script src="/xieyuanhui/js/affix.js?v=7.1.0"></script>

  <script src="/xieyuanhui/js/schemes/pisces.js?v=7.1.0"></script>



  
  <script src="/xieyuanhui/js/scrollspy.js?v=7.1.0"></script>
<script src="/xieyuanhui/js/post-details.js?v=7.1.0"></script>



  


  <script src="/xieyuanhui/js/next-boot.js?v=7.1.0"></script>


  

  

  

  


  


  
  <script>
    // Popup Window;
    var isfetched = false;
    var isXml = true;
    // Search DB path;
    var search_path = "search.xml";
    if (search_path.length === 0) {
      search_path = "search.xml";
    } else if (/json$/i.test(search_path)) {
      isXml = false;
    }
    var path = "/xieyuanhui/" + search_path;
    // monitor main search box;

    var onPopupClose = function (e) {
      $('.popup').hide();
      $('#local-search-input').val('');
      $('.search-result-list').remove();
      $('#no-result').remove();
      $(".local-search-pop-overlay").remove();
      $('body').css('overflow', '');
    }

    function proceedsearch() {
      $("body")
        .append('<div class="search-popup-overlay local-search-pop-overlay"></div>')
        .css('overflow', 'hidden');
      $('.search-popup-overlay').click(onPopupClose);
      $('.popup').toggle();
      var $localSearchInput = $('#local-search-input');
      $localSearchInput.attr("autocapitalize", "none");
      $localSearchInput.attr("autocorrect", "off");
      $localSearchInput.focus();
    }

    // search function;
    var searchFunc = function(path, search_id, content_id) {
      'use strict';

      // start loading animation
      $("body")
        .append('<div class="search-popup-overlay local-search-pop-overlay">' +
          '<div id="search-loading-icon">' +
          '<i class="fa fa-spinner fa-pulse fa-5x fa-fw"></i>' +
          '</div>' +
          '</div>')
        .css('overflow', 'hidden');
      $("#search-loading-icon").css('margin', '20% auto 0 auto').css('text-align', 'center');

      

      $.ajax({
        url: path,
        dataType: isXml ? "xml" : "json",
        async: true,
        success: function(res) {
          // get the contents from search data
          isfetched = true;
          $('.popup').detach().appendTo('.header-inner');
          var datas = isXml ? $("entry", res).map(function() {
            return {
              title: $("title", this).text(),
              content: $("content",this).text(),
              url: $("url" , this).text()
            };
          }).get() : res;
          var input = document.getElementById(search_id);
          var resultContent = document.getElementById(content_id);
          var inputEventFunction = function() {
            var searchText = input.value.trim().toLowerCase();
            var keywords = searchText.split(/[\s\-]+/);
            if (keywords.length > 1) {
              keywords.push(searchText);
            }
            var resultItems = [];
            if (searchText.length > 0) {
              // perform local searching
              datas.forEach(function(data) {
                var isMatch = false;
                var hitCount = 0;
                var searchTextCount = 0;
                var title = data.title.trim();
                var titleInLowerCase = title.toLowerCase();
                var content = data.content.trim().replace(/<[^>]+>/g,"");
                
                var contentInLowerCase = content.toLowerCase();
                var articleUrl = decodeURIComponent(data.url).replace(/\/{2,}/g, '/');
                var indexOfTitle = [];
                var indexOfContent = [];
                // only match articles with not empty titles
                if(title != '') {
                  keywords.forEach(function(keyword) {
                    function getIndexByWord(word, text, caseSensitive) {
                      var wordLen = word.length;
                      if (wordLen === 0) {
                        return [];
                      }
                      var startPosition = 0, position = [], index = [];
                      if (!caseSensitive) {
                        text = text.toLowerCase();
                        word = word.toLowerCase();
                      }
                      while ((position = text.indexOf(word, startPosition)) > -1) {
                        index.push({position: position, word: word});
                        startPosition = position + wordLen;
                      }
                      return index;
                    }

                    indexOfTitle = indexOfTitle.concat(getIndexByWord(keyword, titleInLowerCase, false));
                    indexOfContent = indexOfContent.concat(getIndexByWord(keyword, contentInLowerCase, false));
                  });
                  if (indexOfTitle.length > 0 || indexOfContent.length > 0) {
                    isMatch = true;
                    hitCount = indexOfTitle.length + indexOfContent.length;
                  }
                }

                // show search results

                if (isMatch) {
                  // sort index by position of keyword

                  [indexOfTitle, indexOfContent].forEach(function (index) {
                    index.sort(function (itemLeft, itemRight) {
                      if (itemRight.position !== itemLeft.position) {
                        return itemRight.position - itemLeft.position;
                      } else {
                        return itemLeft.word.length - itemRight.word.length;
                      }
                    });
                  });

                  // merge hits into slices

                  function mergeIntoSlice(text, start, end, index) {
                    var item = index[index.length - 1];
                    var position = item.position;
                    var word = item.word;
                    var hits = [];
                    var searchTextCountInSlice = 0;
                    while (position + word.length <= end && index.length != 0) {
                      if (word === searchText) {
                        searchTextCountInSlice++;
                      }
                      hits.push({position: position, length: word.length});
                      var wordEnd = position + word.length;

                      // move to next position of hit

                      index.pop();
                      while (index.length != 0) {
                        item = index[index.length - 1];
                        position = item.position;
                        word = item.word;
                        if (wordEnd > position) {
                          index.pop();
                        } else {
                          break;
                        }
                      }
                    }
                    searchTextCount += searchTextCountInSlice;
                    return {
                      hits: hits,
                      start: start,
                      end: end,
                      searchTextCount: searchTextCountInSlice
                    };
                  }

                  var slicesOfTitle = [];
                  if (indexOfTitle.length != 0) {
                    slicesOfTitle.push(mergeIntoSlice(title, 0, title.length, indexOfTitle));
                  }

                  var slicesOfContent = [];
                  while (indexOfContent.length != 0) {
                    var item = indexOfContent[indexOfContent.length - 1];
                    var position = item.position;
                    var word = item.word;
                    // cut out 100 characters
                    var start = position - 20;
                    var end = position + 80;
                    if(start < 0){
                      start = 0;
                    }
                    if (end < position + word.length) {
                      end = position + word.length;
                    }
                    if(end > content.length){
                      end = content.length;
                    }
                    slicesOfContent.push(mergeIntoSlice(content, start, end, indexOfContent));
                  }

                  // sort slices in content by search text's count and hits' count

                  slicesOfContent.sort(function (sliceLeft, sliceRight) {
                    if (sliceLeft.searchTextCount !== sliceRight.searchTextCount) {
                      return sliceRight.searchTextCount - sliceLeft.searchTextCount;
                    } else if (sliceLeft.hits.length !== sliceRight.hits.length) {
                      return sliceRight.hits.length - sliceLeft.hits.length;
                    } else {
                      return sliceLeft.start - sliceRight.start;
                    }
                  });

                  // select top N slices in content

                  var upperBound = parseInt('1');
                  if (upperBound >= 0) {
                    slicesOfContent = slicesOfContent.slice(0, upperBound);
                  }

                  // highlight title and content

                  function highlightKeyword(text, slice) {
                    var result = '';
                    var prevEnd = slice.start;
                    slice.hits.forEach(function (hit) {
                      result += text.substring(prevEnd, hit.position);
                      var end = hit.position + hit.length;
                      result += '<b class="search-keyword">' + text.substring(hit.position, end) + '</b>';
                      prevEnd = end;
                    });
                    result += text.substring(prevEnd, slice.end);
                    return result;
                  }

                  var resultItem = '';

                  if (slicesOfTitle.length != 0) {
                    resultItem += "<li><a href='" + articleUrl + "' class='search-result-title'>" + highlightKeyword(title, slicesOfTitle[0]) + "</a>";
                  } else {
                    resultItem += "<li><a href='" + articleUrl + "' class='search-result-title'>" + title + "</a>";
                  }

                  slicesOfContent.forEach(function (slice) {
                    resultItem += "<a href='" + articleUrl + "'>" +
                      "<p class=\"search-result\">" + highlightKeyword(content, slice) +
                      "...</p>" + "</a>";
                  });

                  resultItem += "</li>";
                  resultItems.push({
                    item: resultItem,
                    searchTextCount: searchTextCount,
                    hitCount: hitCount,
                    id: resultItems.length
                  });
                }
              })
            };
            if (keywords.length === 1 && keywords[0] === "") {
              resultContent.innerHTML = '<div id="no-result"><i class="fa fa-search fa-5x"></i></div>'
            } else if (resultItems.length === 0) {
              resultContent.innerHTML = '<div id="no-result"><i class="fa fa-frown-o fa-5x"></i></div>'
            } else {
              resultItems.sort(function (resultLeft, resultRight) {
                if (resultLeft.searchTextCount !== resultRight.searchTextCount) {
                  return resultRight.searchTextCount - resultLeft.searchTextCount;
                } else if (resultLeft.hitCount !== resultRight.hitCount) {
                  return resultRight.hitCount - resultLeft.hitCount;
                } else {
                  return resultRight.id - resultLeft.id;
                }
              });
              var searchResultList = '<ul class=\"search-result-list\">';
              resultItems.forEach(function (result) {
                searchResultList += result.item;
              })
              searchResultList += "</ul>";
              resultContent.innerHTML = searchResultList;
            }
          }

          if ('auto' === 'auto') {
            input.addEventListener('input', inputEventFunction);
          } else {
            $('.search-icon').click(inputEventFunction);
            input.addEventListener('keypress', function (event) {
              if (event.keyCode === 13) {
                inputEventFunction();
              }
            });
          }

          // remove loading animation
          $(".local-search-pop-overlay").remove();
          $('body').css('overflow', '');

          proceedsearch();
        }
      });
    }

    // handle and trigger popup window;
    $('.popup-trigger').click(function(e) {
      e.stopPropagation();
      if (isfetched === false) {
        searchFunc(path, 'local-search-input', 'local-search-result');
      } else {
        proceedsearch();
      };
    });

    $('.popup-btn-close').click(onPopupClose);
    $('.popup').click(function(e){
      e.stopPropagation();
    });
    $(document).on('keyup', function (event) {
      var shouldDismissSearchPopup = event.which === 27 &&
        $('.search-popup').is(':visible');
      if (shouldDismissSearchPopup) {
        onPopupClose();
      }
    });
  </script>





  
  
  <script>
    
    function addCount(Counter) {
      var $visitors = $('.leancloud_visitors');
      var url = $visitors.attr('id').trim();
      var title = $visitors.attr('data-flag-title').trim();

      Counter('get', '/classes/Counter', { where: JSON.stringify({ url }) })
        .done(function({ results }) {
          if (results.length > 0) {
            var counter = results[0];
            
            Counter('put', '/classes/Counter/' + counter.objectId, JSON.stringify({ time: { '__op': 'Increment', 'amount': 1 } }))
            
              .done(function() {
                var $element = $(document.getElementById(url));
                $element.find('.leancloud-visitors-count').text(counter.time + 1);
              })
            
              .fail(function ({ responseJSON }) {
                console.log('Failed to save Visitor num, with error message: ' + responseJSON.error);
              })
          } else {
            
              Counter('post', '/classes/Counter', JSON.stringify({ title: title, url: url, time: 1 }))
                .done(function() {
                  var $element = $(document.getElementById(url));
                  $element.find('.leancloud-visitors-count').text(1);
                })
                .fail(function() {
                  console.log('Failed to create');
                });
            
          }
        })
        .fail(function ({ responseJSON }) {
          console.log('LeanCloud Counter Error: ' + responseJSON.code + ' ' + responseJSON.error);
        });
    }
    

    $(function() {
      $.get('https://app-router.leancloud.cn/2/route?appId=' + 'q2BU0OM2W8i5nARddHRKQOvm-gzGzoHsz')
        .done(function({ api_server }) {
          var Counter = function(method, url, data) {
            return $.ajax({
              method: method,
              url: 'https://' + api_server + '/1.1' + url,
              headers: {
                'X-LC-Id': 'q2BU0OM2W8i5nARddHRKQOvm-gzGzoHsz',
                'X-LC-Key': 'hLTPk12Jmt8atnC9cePjTwQH',
                'Content-Type': 'application/json',
              },
              data: data
            });
          };
          
            addCount(Counter);
          
        });
    });
  </script>



  

  
  

  
  

  
    
      <script type="text/x-mathjax-config">
  

  MathJax.Hub.Config({
    tex2jax: {
      inlineMath: [ ['$', '$'], ['\\(', '\\)'] ],
      processEscapes: true,
      skipTags: ['script', 'noscript', 'style', 'textarea', 'pre', 'code']
    },
    TeX: {
      
      equationNumbers: {
        autoNumber: 'AMS'
      }
    }
  });
  MathJax.Hub.Register.StartupHook('TeX Jax Ready', function() {
    MathJax.InputJax.TeX.prefilterHooks.Add(function(data) {
      if (data.display) {
        var next = data.script.nextSibling;
        while (next && next.nodeName.toLowerCase() === '#text') { next = next.nextSibling }
        if (next && next.nodeName.toLowerCase() === 'br') { next.parentNode.removeChild(next) }
      }
    });
  });
</script>

<script type="text/x-mathjax-config">
  MathJax.Hub.Queue(function() {
    var all = MathJax.Hub.getAllJax(), i;
    for (i = 0; i < all.length; i += 1) {
      document.getElementById(all[i].inputID + '-Frame').parentNode.className += ' has-jax';
    }
  });
</script>
<script src="//cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.5/MathJax.js?config=TeX-MML-AM_CHTML"></script>

    
  


  

  

  

  

  
  
  
  <script src="/xieyuanhui/lib/needsharebutton/needsharebutton.js"></script>
  <script>
    
      pbOptions = {};
      
        pbOptions.iconStyle = "box";
      
        pbOptions.boxForm = "horizontal";
      
        pbOptions.position = "bottomCenter";
      
        pbOptions.networks = "Weibo,Wechat,Douban,QQZone,Twitter,Facebook";
      
      new needShareButton('#needsharebutton-postbottom', pbOptions);
    
    
      flOptions = {};
      
        flOptions.iconStyle = "box";
      
        flOptions.boxForm = "horizontal";
      
        flOptions.position = "middleRight";
      
        flOptions.networks = "Weibo,Wechat,Douban,QQZone,Twitter,Facebook";
      
      new needShareButton('#needsharebutton-float', flOptions);
    
  </script>


  

  

  

  

  

  


  
  <script type="text/javascript" src="//cdn.bootcss.com/canvas-nest.js/1.0.0/canvas-nest.min.js"></script><!-- hexo-inject:begin --><!-- Begin: Injected MathJax -->
<script type="text/x-mathjax-config">
  MathJax.Hub.Config({"tex2jax":{"inlineMath":[["$","$"],["\\(","\\)"]],"skipTags":["script","noscript","style","textarea","pre","code"],"processEscapes":true},"TeX":{"equationNumbers":{"autoNumber":"AMS"}}});
</script>

<script type="text/x-mathjax-config">
  MathJax.Hub.Queue(function() {
    var all = MathJax.Hub.getAllJax(), i;
    for(i=0; i < all.length; i += 1) {
      all[i].SourceElement().parentNode.className += ' has-jax';
    }
  });
</script>

<script type="text/javascript" src="https://cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.1/MathJax.js">
</script>
<!-- End: Injected MathJax -->
<!-- hexo-inject:end -->
  
</body>
</html>
